1.1 Jetbotmini-AI开源机器人

Jetbotmini是一款基于NVIDIA Jetson Nano开发,可供嵌入式设计人员,研究人员和DIY制造商使用的开源机器人,处理器部分由采用四核64位ARM CPU和128核集成的NVIDIA GPU组成,带来的强大性能和其提供了完整的桌面Linux环境,和具有图形加速、支持NVIDIA CUDA Toolkit 10.0以及cuDNN 7.3和TensorRT等特色功能的支持,使得该平台成为跨入AI学习大门的不二之选。

SDK包括本机安装流行的功能开源机器学习(ML)框架,如TensorFlow,PyTorch,Caffe,Keras和MXNet,以及计算机视觉和机器人开发的框架,如OpenCV和ROS。完全兼容这些框架和NVIDIA领先的AI平台,可以比以往更轻松地将基于AI的推理工作负载部署到Jetson。Jetson Nano为各种复杂的深度神经网络(DNN)模型提供实时计算机视觉和推理。构建和使用Jetbotmini可以为你提供创建全新AI项目所需的实践经验。

处理 
中央处理器64位四核ARM A57 @ 1.43GHz
GPU128核NVIDIA Maxwell @ 921MHz
记忆64位LPDDR4 @ 1600MHz | 25.6 GB / s
视频编码器*4Kp30 | (4x)1080p30 | (2x)1080p60
视频解码器*4Kp60 | (2x)4Kp30 | (8x)1080p30 | (4x)1080p60
接口 
USB1x USB 3.0 A(主机)+ 2 x USB2.0 | USB 2.0 Micro B(设备)
相机MIPI CSI-2 x1(15位Flex连接器)
显示HDMI
联网千兆以太网(RJ45)
无线
存储MicroSD卡(建议最低16GB UHS-1)
其他I / O.(3x)I2C | (2x)SPI | UART | I2S | 个GPIO
表1. Jetson Nano Developer Kit技术规范。
*表示直到聚合吞吐量的最大并发流数。
支持的视频编解码器:H.265,H.264,VP8,VP9(仅限VP9解码

 

image-20211101100427372

图1.使用Jetson Nano和TensorRT,使用FP16精度和批量大小为1的各种深度学习推理网络的性能

表2提供了完整的结果,包括其他平台的性能,如Raspberry Pi 3,Intel Neural Compute Stick 2和Google Edge TPU Coral Dev Board:

模型应用骨架NVIDIA Jetson Nano树莓派3Raspberry Pi 3 + Intel神经计算棒2Google Edge TPU 开发板
ResNet-50 (224×224)分类TensorFlow36 FPS1.4 FPS16 FPSDNR
MobileNet-v2 (300×300)分类TensorFlow64 FPS2.5 FPS30 FPS130 FPS
SSD ResNet-18(960×544)物体检测TensorFlow5 FPSDNRDNRDNR
SSD ResNet-18(480×272)物体检测TensorFlow16 FPSDNRDNRDNR
SSD ResNet-18(300×300)物体检测TensorFlow18 FPSDNRDNRDNR
SSD Mobilenet-V2(960×544)物体 检测TensorFlow8 FPSDNR1.8 FPSDNR
SSD Mobilenet-V2(480×272)物体检测TensorFlow27 FPSDNR7 FPSDNR
SSD Mobilenet-V2 (300×300)物体检测TensorFlow39 FPS1 FPS11 FPS48 FPS
成立V4 (299×299)分类PyTorch11 FPSDNRDNR9 FPS
小小的YOLO V3 (416×416)物体检测暗网25 FPS0.5 FPSDNRDNR
OpenPose (256×256)姿势估计咖啡14 FPSDNR5 FPSDNR
VGG-19(224×224)分类MXNet10 FPS0.5 FPS5 FPSDNR
超高分辨率(481×321)图像处理PyTorch15 FPSDNR0.6 FPSDNR
UNET (1x512x512)分割咖啡18 FPSDNR5 FPSDNR

表2. Jetson Nano,Raspberry Pi 3,Intel Neural Compute Stick 2和Google Edge TPU Coral Dev Board的推理性能结果。由于内存容量有限,网络层不受支持或硬件/软件限制,DNR(未运行)结果频繁发生。

Jetbotmini特性

● 索尼定制800万高清摄像头

● 能够进行快速响应的高精度PID算法颜色追踪应用

● 能够进行快速响应的人脸识别应用

● 两路PWM舵机

● 万向轮加两个电机移动方式

● 轨道自动驾驶应用

● 独立于PC端控制的FPV(第一人称视角)视频实时显示,运动遥控

● 0.91’迷你OLED 实时显示Linux系统运行状态信息

● 蜂鸣器、多个LED进行硬件控制学习

● PC端通过Web浏览器进行交互式编程,提供基本运动控制,AI框架使用,手柄遥杆全方位遥控,自动跟随,自动驾驶等底层代码多例程教程, Jupyter notebook AI在线编程调试

● 通过VNC或外接屏幕进行ROS程序学习

● 出厂系统全环境配置,到手即玩

● 支持CUDA加速, TensorFlow,PyTorch等全主流AI框架和AI入门从0到1教程的机器学习平台